Stalin lấy người vợ đầu Ekaterina Svanidze, một người thợ may, vào năm 1906, chết một năm sau đó vì bệnh sưng ruột. Ông có với bà một người con trai, Yakov. Với người vợ thứ hai Nadezhda Alliluyeva Stalin có một người con trai, Vasiliy, và một người con gái, Svetlana. Nadezhda chết năm 1932, chính thức vì bệnh. Theo hồi ký Khrushchyov, Kaganovich, một người thân cận của Stalin, đã triệu tập các bí thư đảng khu vực Moskva và nói rằng Nadezda Sergeyevna chết đột ngột, ngày hôm sau cùng với những người này, ông thuật lời Stalin nói rằng Allilueva không chết vì bệnh, mà là tự sát bằng súng. Vlasik, Đội trưởng cảnh vệ của Stalin cho biết, hôm trước đó Stalin sau bữa ăn tại nhà Uỷ viên dân uỷ Vorosilov, đã về nhà nghỉ với vợ Gusev, một quân nhân mà cũng có mặt trong buổi tiệc. Alliluyeva đêm hôm đó đã gọi tới nhà nghỉ và biết được chuyện này, trong cơn nóng giận bà đã tự sát. Sáng sớm hôm sau, khi Stalin về thì vợ đã chết, ông đã theo xe tang đưa thi thể vợ đi chôn cất, rõ ràng là ông rất đau khổ và khóc bà ấy.[255]

Khi Vasily còn thiếu niên, anh thường tỏ ra hỗn xược, vô lễ và học tập kém do ảnh hưởng từ vụ tự tử của người mẹ, nhưng Ban giám hiệu trường lại bỏ qua và giấu kín việc này vì Vasily là con trai Stalin. Một thầy giáo dạy môn Lịch sử của trường, sau khi chứng kiến Vasily sa sút trầm trọng với sự nuông chiều của Ban giám hiệu, đã viết thư tố cáo cho Stalin. Dù bận rộn, ngày 8 tháng 6 năm 1938, Stalin đã viết thư trả lời thầy giáo và yêu cầu được giữ kín nội dung bức thư này. Tới năm 1991, con trai vị thầy giáo đã công bố thư này. Trong thư, Stalin viết[256]:

Gửi thầy giáo Martyshkin! Xin cảm ơn thầy đã gửi thư.

Sở dĩ tôi viết trả lời thầy muộn, là do công việc quá nhiều. Tôi xin lỗi thầy về điều đó. Con trai tôi, Vasily là một thanh niên hư hỗn, năng lực bình thường, nói dối, hay dọa nạt những kẻ yếu, tư chất yếu đuối và vô tổ chức. Chính những kẻ dung dưỡng, luôn tâm niệm đó là "con trai Stalin" đã làm hư cháu. Tôi mừng, vì nhờ thầy mà tôi biết vẫn còn một giáo viên có lòng tự trọng, đối xử với cháu Vasily như với tất cả học trò khác... Chính các hiệu trưởng như thầy đề cập, đã làm hư cháu Vasily. Họ không xứng có mặt trong trường học, và nếu như cháu Vasily vẫn chưa kịp tự giết mình, là bởi ở đất nước chúng ta vẫn còn có những giáo viên không nỡ để cho đứa học trò "con ông cháu cha", tính khí thất thường đó trượt dài thêm nữa.

Tôi đề nghị thầy nghiêm khắc hơn với Vasily, tôi luôn ủng hộ. Tiếc là chính tôi cũng không có điều kiện gần gũi với Vasily, nhưng tôi hứa với thầy dần dần tôi sẽ đưa cháu vào khuôn khổ.

Xin chào thầy!

Khi Thế Chiến II bùng nổ, Stalin quyết định cả hai con trai của mình đều phải ra mặt trận cầm súng chống quân thù. Anh cả Yakov Dzhugashvili (1907-1943) đã chiến đấu trong lực lượng Pháo binh, rồi bị bắt làm tù binh trong một trận đánh không cân sức gần thành phố Smolensk cửa ngõ phía tây của nước Nga. Do là con trai Tổng tư lệnh tối cao nên Yakov được cấp trên quan tâm đặc biệt, họ đề nghị cử lính đến giải cứu riêng nhưng anh từ chối. Ngày 16 tháng 7 năm 1941, Yakov bị bắt làm tù binh. Trong lần đầu hỏi cung của quân Đức với Yakov, anh trả lời rằng mình rất xấu hổ trước người cha vì đã để bị bắt sống.

Lời khai của Yakov đã bị sĩ quan của Gestapo là Roisller sửa chữa để tuyên truyền rằng anh đã cộng tác với Đức, nhằm kêu gọi binh sĩ Xô viết "theo gương con trai Stalin" mà đầu hàng quân Đức. Khi Stalin biết tin, ông đã căn cứ theo luật về đối tượng phản quốc và ra lệnh bắt tạm giam Iulia, vợ Yakov. Dù Stalin là Tổng tư lệnh nhưng ông không cho thân nhân của mình bất cứ đặc quyền nào, ông quyết định rằng pháp luật phải bình đẳng với mọi người. Vào năm 1943, khi đã làm rõ là Đức ngụy tạo về sự phản bội của Yakov, vợ Yakov được trả tự do.

Yakov Dzhugashvili từng được đề nghị đổi lấy Thống chế Đức Friedrich Paulus bị Hồng quân Liên Xô bắt sống tại trận Stalingrad. Stalin đã cương quyết từ chối, trong bức thư gửi Hitler[cần dẫn nguồn] ông nói: "Tôi sẽ không đổi một Thống chế lấy một binh sĩ bình thường". Theo báo Time, Yakov đã bị bắn chết trong trại tập trung ở Sachsenhausen vào năm 1943, sau khi cãi lộn với bạn tù, có ý định tự tử, thách thức lính gác SS bằng cách leo hàng rào và hô to "Đừng hèn nhát thế, bắn đi".[257],[258], báo Spiegel thì dẫn nguồn cho là ông chết vì bị điện giật tại hàng rào nhà tù.[259] Sau khi làm rõ các hành động và tinh thần dũng cảm của Yakov trong chiến đấu và khi bị giam, vào năm 1977, đoàn chủ tịch Xô viết tối cao Liên Xô đã ra nghị quyết truy tặng Huân chương Vệ quốc hạng nhất cho Yakov.

Trước khi mất, Yakov có một con trai là Evgeni Dzhugashvili sinh năm 1936, sau này trở thành giáo sư, nhà sử học, kỹ sư, nhà hoạt động chính trị - quân sự Xô Viết. Mang hàm đại tá, đến năm 1991 Evgeni về hưu. Ông luôn đấu tranh để bảo vệ quan điểm và lý tưởng của ông nội mình. Năm 1996, ông là Chủ tịch Cộng đồng thừa kế tư tưởng Joseph Stalin (Georgia) và năm 1999 là Chủ tịch Liên minh dân tộc yêu nước Georgia; năm 2001, giữ chức Tổng bí thư đảng Cộng sản Georgia. Ông mang quốc tịch kép Nga - Georgia]], vì thế lúc ông sống tại Tbilisi (Georgia), khi thì ở Moskva (Nga).

Người con trai thứ 2 là Vasily Iosifovich Dzhugashvili xung phong vào Không quân, lần lượt tham gia các trận đánh then chốt của Hồng quân như trận Moskva và trận Stalingrad (nay là Volgagrad), giải phóng Belarus và Ba Lan, rồi tổng công kích quân Đức Quốc xã tại thủ đô Berlin. Trong các trận không chiến, Vasily đã bắn rơi 2 máy bay tiêm kích và cường kích của quân phát xít. Đến cuối năm 1942, ông được phong hàm Đại tá Không quân. Sau khi Thế Chiến thứ II kết thúc, Đại tá V. Stalin được Ban lãnh đạo Bộ Tư lệnh Đặc khu Thủ đô (nay là Quân khu Moskva) đề cử giữ chức Tư lệnh Lực lượng Không quân phòng thủ Moskva. Tuy vậy, Stalin đã nhiều lần gác lại việc phong hàm tướng cho con bởi ông muốn con trai mình "phải trau dồi phẩm chất cùng tích lũy kinh nghiệm nhiều hơn nữa", và ông đã tự gạch chéo bằng mực đỏ xóa tên của Vasily trong danh sách dự kiến phong cấp tướng định kỳ. Tới năm 1946, Vasily mới được bổ nhiệm Thiếu tướng. Tới năm 1952, Stalin đã cương quyết cách chức con trai ruột sau khi xảy ra sự cố tai nạn ở sân bay Tushino vào tháng 7 năm 1952, một cuộc bay biểu diễn ngang qua quảng trường Đỏ đã bị hủy bỏ vì gió bão và mây mù, nhưng Vasily tự ý ra lệnh họ phải bay.[260] Sau đó ông phải chuyển về Học viện Quân sự Trung ương, trở thành một giảng viên của Khoa Huấn luyện Không quân.

Ngay sau khi Stalin từ trần vào đầu tháng 3 năm 1953, những thế lực thù ghét Stalin đã tìm cách hãm hại con trai của ông. Chỉ nội 3 tuần lễ sau, Tướng V. Stalin đã bị Bộ trưởng Quốc phòng Nikolai Bulganin cho về hưu sau khi từ chối những chức vụ mới. Tới cuối tháng 8 năm 1954, Tướng V. Stalin chính thức bị tước quân tịch và phải ra Tòa án binh, sau một đêm nhậu nhẹt với những người ngoại quốc, tòa đã tuyên phạt ông mức án 8 năm tù giam về tội "tiết lộ bí mật nhà nước và làm mất uy tín của lãnh đạo cao cấp".[260]

Sau 7 năm ngồi tù dưới một cái tên khác để bạn tù khỏi phát hiện ra, trước sự phản đối của những cán bộ trung kiên từng làm việc dưới quyền lãnh tụ Stalin, tháng 4 năm 1961, V. Stalin được tha trước thời hạn, đồng thời được phục hồi cấp bậc và được hưởng phụ cấp là 300 rúp/tháng, tương đương mức lương cấp tướng.[261] Theo văn khố Munzinger Đức và theo lời kể của em gái ông, Svetlana, sau khi trở về Moskva Vasily tiếp tục sống cuộc sống buông thả và trở thành nghiện rượu, sau đó có đi chữa bệnh tại Kaukasus rồi dọn về Kasan với người vợ thứ tư mà ông ta cưới vào năm 1962. Ông chết trong năm đó vì bệnh nghiện rượu kinh niên vào ngày 19 tháng 3, 2 ngày trước sinh nhật 41 tuổi.[262][263]

Người con gái duy nhất của ông, Swetlana Iossifowna Allilujewa (1926–2011), năm 1967 bỏ trốn sang Hoa Kỳ sống, để con cái ở lại Liên Xô. Bà có viết 4 quyển sách, trong đó có 2 cuốn hồi ký bán rất chạy.[264]

Trong cuốn sách, bà mô tả cha mình là một người đàn ông khó gần và khó tính. Bà nói với tờ Wisconsin State Journal trong một cuộc phỏng vấn hiếm hoi năm 2010: "Đối với ông ấy, không có gì là phức tạp cả. Với con cái ông ấy cũng rất đơn giản. Ông ấy yêu quý tôi, muốn tôi bên cạnh ông ấy và trở thành người được đào tạo theo chủ nghĩa Marx." Svetlana đã phải trả giá đắt cho cuộc bỏ trốn năm đó vì phải để lại hai đứa con - sinh ra từ những cuộc hôn nhân trước - ở Nga. Cả hai người con đều cảm thấy thất vọng về sự rời bỏ Tổ quốc của mẹ. Bà cũng chưa bao giờ gần gũi lại với họ.